Het Gravensteen is een van de meest imposante bouwwerken uit de middeleeuwen die België bezit. Omstreeks het jaar 867 richten Boudewijn met de ijzeren arm, eerste graaf van Vlaanderen, aan de samenvloeiing van de Leie en de Lieve een slotttoren op. De plaats was strategisch en commercieel goed gekozen. De burcht zou trouwens het ontstaan van de kern van de Gentse stede tot gevolg hebben.
De oorspronkelijke burcht werd omstreeks 1180 gebouwd door de graaf van Vlaanderen Filips van den Elzas. De graven van Vlaanderen resideerden er tot in de 14de eeuw, maar zochten daarna andere oorden op. Het einde van de middeleeuwen betekende tevens het einde van het militaire belang van een versterkte burcht als verdedigingsmiddel, onder meer door de opkomst van buskruit, vuurwapens en kanonnen. Het gebouw werd daarna gebruikt als muntslagerij en werd vooral berucht als gevangenis en gerechtshof. De folterkamer van het Gravensteen maakte heel wat slachtoffers. Veroordeelden werden in de regel op het Sint-Veerleplein terechtgesteld. Het Gravensteen bezit nu nog een heel uitgebreide collectie middeleeuwse foltertuigen, die je kunt bezichtigen in het Gerechtsmuseum. In 1807 vestigde een katoenspinnerij zich in de donjon en ontwikkelde zich een hele arbeiderswijk op het terrein.
Vanaf de tweede helft van de negentiende eeuw was het gebouw niet meer geschikt voor een moderne onderneming en het werd opnieuw verkocht met als doel, het vervallen Gravensteen slopen en verkopen als bouwgrond. Gelukkig was er geen interesse voor het project. Vanaf 1865 begon de stad Gent samen met de Belgische staat in verschillende fasen de gebouwen van het vroegere opperhof terug te kopen uit particulier bezit. Vanaf 1888 werden alle aanbouwsels verwijderd en zo startte de restauratie en reconstructie van het huis van de graaf en de donjon. Vanaf 1907 werden de gerestaureerde delen van het Gravensteen opengesteld voor bezoekers.